Ce tableau est le troisième d'une série de quatre « portraits de groupe » : les deux premiers, Hommage à Delacroix (1864) et Un atelier aux Batignolles (1870), rassemblent les peintres qu'il admire ; le quatrième, Autour du piano (1885), rassemble des musiciens.

Fantin-Latour avait pour projet initial de rendre à Baudelaire un hommage semblable à celui qu'il avait rendu à Delacroix dans un célèbre tableau en 1864. Il envisageait de regrouper plusieurs personnalités du monde littéraire autour d'un portrait du poète des Fleurs du Mal, dont c'était le cinquantenaire de la naissance (1821-1867). C'est son ami Edmond Maître qui aida Fantin à entrer en contact avec plusieurs poètes qui fréquentaient les bureaux de la préfecture de la Seine, parmi eux Albert Mérat, Paul Verlaine et Arthur Rimbaud. L'éditeur de Baudelaire, Poulet-Malassis, évoqua alors l'idée de faire poser Leconte de Lisle, Théodore de Banville et même Victor Hugo, cependant ces personnalités refusèrent de poser. Il existe deux esquisses de ce tableau que Fantin-Latour avait intitulées : Le Repas.

Ce quatrième portrait de groupe représente donc les poètes présents aux dîners des Vilains Bonshommes qu’Edmond Maître avait présentés à Fantin. On remarque l'absence d'Albert Mérat qui a refusé de poser en compagnie d'Arthur Rimbaud après l'incident survenu lors du dîner du 2 mars 1872 : Rimbaud y avait interrompu une lecture de Jean Aicard et forcé les poètes à le sortir par la force. Le groupe est représenté à la fin d'un repas autour d'une table, on y voit :

assis, de gauche à droite : Paul Verlaine, Arthur Rimbaud, Léon Valade, Ernest d'Hervilly, Camille Pelletan.
debout, de gauche à droite : Pierre Elzéar, Émile Blémont, Jean Aicard.
un vase rempli de fleurs, au premier plan, qui serait un symbole du poète absent, Albert Mérat 6.